Chùa Nhất Trụ có tên như vậy là do trước chùa có một cột kinh phật bằng đá Nhất Trụ (cột kinh Lăng Nghiêm) đã được xếp hạng Bảo vật quốc gia. Cột kinh phật chùa Nhất Trụ cao hơn 4 m, có 8 mặt và 6 chi tiết được lắp dựng với nhau bởi các ngõng đá bao gồm: Tảng đế vuông dày 30 cm, kích thước mỗi chiều 140 cm, có lỗ mộng tròn ở giữa. Đế tròn có đường kính 76 cm, dưới đáy đế có ngõng lắp vừa khít vào lỗ mộng ở tảng đế vuông. Trên mặt đế tròn có lỗ mộng sâu 9 cm. Thân cột bát giác cao hơn 2,0m và có số đo qua tâm hai mặt đối diện là 65 cm ở phần trên và 61 cm ở phần dưới thân cột. Hai đầu cột đều có ngõng cắm vào đế và thớt. Thớt bát giác dày 13 cm, số đo qua tâm hai mặt đối diện là 69 cm, mặt dưới có lỗ mộng ngậm khít vào ngõng trên của thân bát giác. Phía trên thớt là biểu tượng bông hoa sen bằng đá cao 26 cm có đường gờ miệng uốn lượn tạo nên 8 đỉnh nhọn, phía dưới bông hoa thu nhỏ thành hình tròn, mặt trên có lỗ mộng tròn để gắn chóp. Chóp có hình chiếc hồ lô thóp bụng, miệng tù, cao 80 cm, có đường kính 30 cm. Phía trên tảng vuông bao quanh đế cột có vòng tròn đường kính 107 cm trang trí những cánh sen, với tổ hợp 22 cánh đơn, chiều dài mỗi cánh 15–17 cm, rộng 13 cm. Cánh sen thon tương tự như cánh sen trang trí trên một số tảng đá của các công trình khác trong khu di tích... Trên tám mặt của thân bát giác có khắc đầy chữ hán, ước khoảng 2.500 chữ, nhiều chữ đã bị mờ khiến cho văn tự không đọc được nguyên vẹn, số chữ có thể đọc được hoặc nhận dạng là 1.200 chữ. Do ảnh hưởng của thời tiết, môi trường tác động mà hiện tại số lượng chữ có thể đọc được là rất hạn chế. Các mặt của lăng Kinh khắc bài thần chú trong Kinh Lăng Nghiêm và một số bài kệ. Cột đá này được dựng khoảng năm 995. Trên cột đá còn thấy các chữ "Đệ tử Thăng Bình Hoàng đế tả tạo" (Hoàng đế Thăng Bình tức vua Lê Hoàn).